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Summary of DE 195 31 967 Al 

DE 195 31 967 Al discloses a method for training a neural 
network with the non-deterministic behavior of a technical 
system. During the training, the weights of the neural 
networks are adjusted on the basis of cost function. The cost 
function evaluates an optimum system behavior and amplifies 
weight adjustments according to the optimum behavior. 

DE 195 31 967 Al represents technological background with 
regard to the use of neural networks. It does not disclose a 
method for detecting the modes of a dynamic system with a 
drift segmentation model as claimed in the above U.S. patent 
application . 
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Prufungsantrag gem. § 44 PatG ist gestellt 

(g) Verfahren zum Training sines nsuronalen Netzes mit dsm nrcht determfnistischen Vsrhattan eines 
techni&chen Systems 

@ Mft der Erfindung wfrd sin TraininQSverfahren fur neurona- 

le Netze vorsestsllt bai dsm dia GsMtehts wfihfsnd des 

Trainings mft HSfs einsr fO^stsnfunktion stngastailt werdan, 

Dabai bewertet dIa Kostanfunktion sin gunstiges Systamvsr- 

haltan des technischsn Sy«ten» und vsrstarkt dadurch 

aolche GswichtseinstslUingsn* wShrand anders, wetohe a(n 

ungiinstigeft VerhsH^n das tschnfschen Systems bswirkan, 

abgsschwScht wardsn, Durch sine Stfirucig der SteHgroQe 

mft einam flauschen von bskanntsr Rausehvsrtsilung war- 
den zufglligs St6ningen arzaugtr welc^e die mathamatlscha § 

Baarbaitung der Gewlchtseinatellung wasentllch erlsichtern, 

da sEch die hIsrfOr srfordertichsn Terms varsinfftchen. So 
^ wird mit dar Erflndung quasi durch sine statrstischo Mstho- 

de und Anwsndung ainer Kostenfunkflon suf dis vom 
^ tachnischen Systsm oder ssEnsm McdsJI abgegebanen 

Wsfta die rFciitfge Gewfchtseinstellung fur das nauronafa 
M Netz gefundan. 




UJ 

Q 
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Bescfaretbung 

Die Erfindung be^ht sich anf Leraverfahreii zur neurcinaleii Moddfiemng voa dynambchea Prozesscai 
mit dem erreicltt warden sod, daB das neuroiiale Netz in d^ Lage isf Frozesse nut hohem Antdl an stochasti- 

5 sdmiVoigftngazuFcgefaL 

Noironale Netm find» in dLe vidfildgsten tedanschen GeUete Bmgang. UbenQ dort, wo cs £^ aos 
kompl^en tecfanischen y^iBannrn gnhang en und ans unzurdchcnden Informationen Entscheidnngcn abzuidten, 
erwdsen sich oeuronale N^e ab besondm gedgncL Znr Bibfamg einer oder mehrerer AusgangsgrSBen 
werden dem neunmalai NeU bdojuelsveise eme od^ mehrar EingaiigsgrSBffl zugefQhrt Hteizci wird m 
solches Netz zun^cfast filr den spczieilen BmsatxhJl trainiert, amchlieSendgenanSdertnnd danach wird cs mit 
dnem mderai Dateosatz als den TVainingsdaten vafidiert Netironale Netze erwetsen sich fOrinele Rtnsat z ffille 
ais besonders geeignet dasie muv^seO traimeitarand. 

Ein baufig aoftretendes Problem im Zustmmettfaang nut dm EinsatE yon noironalcn Netzea bestebt aller- 
diogs dann, daB haufig die Bngan^daten -^^^ Trainmg^ oder b^n Betrieb des Netzes nicfat voUstancfig sind. 

15 JXeser Sadcveiiialt und audi cfie Taisadie, daB die MeBwerte fOr den Aofbaa einer Zdtrahe^ wekhe dem 
neunmalen Netz zugefllhrt wird^ hSuSg ungenau oder verraisdit shuL bewirkov daB teihresie sdilecfate Lfrner- 
gebnisse d«r Netse eraelt werden. Bei j^vzessM mit hohem Aatdl an storhastfschen VorgSngen tiitt imbestm- 
deredas Problem aiif. daB dEeTraimogsdatra Zufalbdiarakter haben und deshalb bisher kdne Mediode esi^ert 
neunwale Netze mit dem Verhalten solAer Systems za trainimn. Bisfaog gibt es keine AnsStzeii weldie dieser 

2) bescHiderenftoHMiatikRectnungtragen. 

Die der Erfindung zugnindeliegende Aufgabe foesteht deshalb darin. dn LemverFafaren anzugeben* rait dem 
der Lemvorgang bdm Training eines neuronalen Netzes verbessert werden kann. wdches das Verhalten dncs 
tedmbdien Systems mit hohem Anteil an stochastisdhen Vorg&ngen trainieren soOL 
Diese Aof^be wkdgemlB den Merkmalen des Fatentansiyruchs 1 gelM. 

25 WeiterbUdungen der Erfindung ergeben stcfa aus den aWangigcn AnsprOcheou 

Bescmders vorteBhaft k&men mit dem erGndungsgemABen Verfahren neiuonale Netze snt dem Verh^dten 
von fa'ohfiS^^hi*** Systemen trainiert werdeiir welche ein nahezu voOstandig stcK:hastisdbes V^bal^ anfw^sen, 
da ssch das erfindungsgem&Be Verfahren statstbcher Methoden zur Auswertung der Emgai^^laten bdm 
TVaining d^ neuronalen Netzes becBent Besonders vorteiihaft werden hierzu die SteOgFefiendaten, zur Erzeo- 

50 gong einer neuen Ri^lgr5Be des tedmischefL Systems, mit Hilfe dnes R ausc faens von bdcannter stattscher 
VerteBung variiert Duich doe hftuSge Wlederholiing dieses Vorgangs und dne Bewertung der Regelgr58e des 
tedmisdien Sy^ms flwli^nd emer Kostenfunktion, wobei soidie Gewichte, welche dne Vo'besserong des 
Verimltens des tedmisdien Systems in Bezug auf dn gewttnsdites Soliverhaiten bewirfcen mit Hilfe der Kosten- 
funktkMi starker gewichtet werden. kann dne optimale Gewichtsdnstelhmg des neuronaloi Netz^ meicht 

35 werden. Zur Einstelhmg der Geiwhte in Bezug auf den Fehlrargradioiten werden bekannte Verfahren for das 
TFainingnraronaler Netze verwendet 

Besonders vorteilhaft die Anzabl der zum Training des neuronalen Netzes aufzundimenden ZdtreSien 
variiert wenlenu dandt ist dem Fadimann die MdgBddceit gegd>enp die Gc n autgkeit der Einstelhmg der Gewich- 
te des neuronalen Netzes in Abh&ng^kdt der tlun zur VeifOgung stehenden Rechcnzeit oder Rediffikapazttftt 

40 zu beeinOussen. 

Voraigswdse kdnnen durdi Modelfienmg oder durdi Einsatz des realen tedmisdien Systems mehrere 
Zdtreihen gewommt werden, und deren Mittehverte zum IVdmng des neuronalen Netzes verwendet werden, 
da sidi so exne bessere statistisdie SigniBkanz fOr die Rlditigkeit der Trainingswerte eigifat. 

Vorteilhaft wird beim Training des neuronalen Netzes als bekannte Raischvertdlung zur Variation der 
45 Std^Be erne GauBvertdhmg verwendet, da ddi damit der Fdilergnufient zuia Training des neuronalen 
Netzes besonders dnfadi bcredmen UlBt 

Vortdlhaft werden mehrere Zeitrdhen stmuliert und gemessen, da so dne Aussage uber das Verhalten der 
R^dgroBe des tedmisdien Systems unter verschiedenen Umstfindra erhahen werden kann und tadt dadurdi 
die Statistik der Zdtrdhe verbessert Vorteilhaft kann nidit nur die Stetlgr&Be^ sondem audi die Regdgr&Be von 
so dnem Rauscfaen bekannter Verteilung Bberlagert ^n. ohoe daB <fas Lemveihalten des neuronalen Netzes nadi 
dem erfindimgsgem&Ben Verfadn«n bedntr&ditigt winL 

Im f olgenden wird die Eifbiduiig anhand von Figureu wdter eriiutert 

Fl^ 1 zeigt dne Zdtreihe und ein Systemverfaalteiii 

Fig. 2 ga)t ein Beispiddes erGndungsgeniaBa Verfidirens an. 
55 Fl^ t zdgt eine Zdtrdhe von MeBwerten, weldie beispiefawdse emem neuronalen Netz zugeBlhrt werdm 
k6nn«L IMe &tSuteruiig dieser f^lgur dient insbesondere dazu die mathemadsdien Grundlagen zur Bdtandlupg 
des eifindungsgemUen Verfahrais zu durchleuditen. GemaB ihrer zeiUidi^ Abfolge wenfcn ^ese MeBwete 
betsptdsweise von einem tedmisdien System erfaBt und gem&B ihrer zeitBdien Abfolge mit yt bis yt-6 bezeidt- 
neL G^ispielswdse wird in F^ 1 davon aosgegangen, daB der Wert yt ^2 fehh. Die un Maikov blanket rdevaotea 
60 Wcrte, ab benadibarte Werte dieses fehloiden MeBwertes, smd yt-4, yt-i yt-i imd y^ En soldi fdilender 
MeSwot in einer Zeitrdhe kann bdspielsweise dadurdi entstehen, daB zum firagfidiea Zeitpunkt das MeBgc^t, 
zur Werteauf nahme tudit funktiomerte^ oder daB es zwisdien dnzelncai gemesnmen Werten gOnsdg ersdidnt. 
um das ueuronale Nets besser zu trainieren, diesem dnen wdteren Wrat zuzu^hren, der folgtidi noch zu 
besdmmeu ist Beisiuelsweise wird in Fig. 1 wdtCT davon ausg^gangeo, daB der Wert yt-s fehlt Die im Maikov 
65 Manket relevanten Werte, als benadibarte Werte dieses fehlcndcn MeBwertes, sind yt-& yt-4, yt-2 und yt-t- 
Die Anvemhmg des erfindungsgeuOlBen Verfahrens zum Training hat nadi der erfinderisdiraL Mee air Folge;, 
daB das Netz mit besser zutreffendea Gewichtungsfaktoren ausg^tattet wird Dies ist der Fall, weD sidi die 
Erfrndung der Statistik bedient imd es so ennCglidit audi aus Zdtreihen, welche Prozcssen mit hohem stocfaastt- 
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sdien Anteil voa VorgSng«n entnommen werden^die relevaotea Tramngsdaten zu extrahierea 

Besoaders vorteilhaft werdeo die Daten fQr die Stellgr5Se dabei durdi ein Raiasdien mit belcannter Rausch- 
vertdlimg, wie beisptdsweise Qajoft-, oder PoissoQ-Verteflung vaiiierL Hienfairdi wird die Bostellung der 
Gewichte an dexi Nearonen des Netzes vreseufltch vereiofad^t, da rich <fie mathematisdiea Terme fSr die 
Beredsumg der Regeldtfferenz v^rastUch dnfacher gestaJten lassen. Dies ia KomUnatkm mit einer Kosteo- s 
fonkdco, welche soidie Gewiditsemste[lang» begunstigt, cBe emeu gewflnschten SoOzDstand am tecfamschen 
System herstellen, ergibt ek vorteilfaaftes Traitiiogsverfahx^eii, weidie mit vei^Iddsswebe geringem Recbeaauf- 
wand za ga ten Trainingsieistungn d^ Netze fOhrt 

Fl|^ 1 zeigt dabei die Zeitreihe in Verbindimg mit einem zu trami^enden neurooalen Netz NNw. Es ist zo 
erk^men, <blB y erne zdtabfa&ngtge Variable darstelte, wdche d^ System^^iiialten SY eioes tedimsd^ Sy- to 
stems reprisendert Wie ericannt weiden kani^ entsprecfaen die Werte yt bis yt-e MeBwertra* welcfae dem 
Systemvexiauf SY entnommen werden. Dordi die ges^ldielten Pf etie zu dm jewdiigra Zdtpimkten fat symboll- 
siert, daS diese Mdlwerte dem neoronalen Netz NNw beim Training zugefobrt werden soO^n. 

Hier ist der fragliciie MeSwert M f&r dm Zeitpunkt yt-2 nicht vortianden. Fur diesen MeSwert M ist seine 
Wahrschanliciikettsdidite si angegeben. Diese WaiirschemOdikeitsdidite t kiom beispielswecse aos emer vor- is 
gegebenrai bekannten FehlerverteHungsdichte der iflbrigen bekannten M eBwme rQdcgerecfan^t werdesL Insbe- 
sondere wird dabd ausgenutzt» daB sich der feblende MeSwert zwischm zwei bekannten MeBwerten befinden 
muB and damit auch dessen Feliler darch die Fehler d& bmachbarten und der r^tUcben MeSwerte der 
Zeitreihe begrenzt wird Die zugrundeliegende Zeitreihe l&St sich wie fblgt beschrdben: 

D^i ist f entweder bekannt oder wird hinrddiend dunA dn n^ironales Netz moddO^ st bedeatf^ dabd 
emenadcBtivenunkorreliertenFeUermhzdtlidiem Mittelwerta^^ 

erfindungsgemiSe Verfafaren essentiel! dne befioumte oder vorgegebene Wahrsdieinfichkeitsdiciite Ps (e) aof 
imd versinnbildndtt typischerweise <fie onmodellierte D^amik der Zeitrdfae. fieispieisweise soil Mr eine soldie 
21dtre3ie» dn zulcQnftiger Wert vorfaergesagt werden. Dabd ist at beachten, daS zokibaftige Wme retativ m der 
mcMnentanen gewahlten Zeitpositioa zu verstehen sxnd. Das hdfit filr daen Zdtpunkt yt-s ist der Zdtpimfct yt-4 
ein zukonftiger Wert Unter diesen Voranssetzungen laBt sich die bedingte Wahrscheinlicfakdtsdidite fOr ein» 30 
vorherzusagendea Wert der Zdtreilie wie foigt l>eschreiben. 

p(yr ly«.yrt--yt^)=P«(y-f(y^,y«,-*-,y^4,)) (2) ^ 

Wie bereits erwiiint muB die Fehlerverteilangsdidice belcannt sdn. Diese VertdlongsdU:hte kana entweder 
anhand des Systemverhaltens ucd bekannter anderer ftuBerer GrOBen ermittelt oder vorgegeben werden, Esns 
t3^isdie Fehlerverte3mi& die in der Praxis auftritt 1st die GauSverteilung. l^t einer solchen angenommenen 
GauB'sdien FehlerverteOong ISSt sich die bedingte Wahrschdnlichkdtefichte wie folgt beschrdbem 40 

P ( yj yiHi.yt^2,-«.yt-M>=Q(y,;f(y^i,_,y^Xa*) {3 ) 

I^iin bedeutet G (x; (fie Rotation (Or eine nortnale Dicfate» die bd x b^ttnunt wird mit einem Zentrum C 
tmd einer Varianz o^. Geht man davon aus» daB das za be$dare3?ende System in Form einer Folge von Werten 
anf dner Zdtadsse dargestellt mrd, so Icann man die dnzdnen Werte von yt auch als Zufalbvariabie in einem 
probabilistischen Netzwerk auffassea Beispielsweise b^teht das Problem des N^es darm, einen Wert der 
Zdtreihe vorfaerzusagen, indem die vorhandene Information aus den restlichen Werten mOglicfast voOstandig so 
verwendet wird Unter Voraussetzung der Annahmen, die zuvor gemadit wurden, lafit sich die gesamte Walir- 
sdieinlichkdtsdidite der Zeitreihe wie foigt be^ihrdibai: 



p i yi.y^ ,-*.yr) = PCxi^-^yj^r) nP(yjiyw— .yw^) (4) 

t=H+l 

Dabd wird davon ansgegangeo, daB jt^k mit k N der fefaiende Wert ist Mit der Bezeidmnog y° » {yt-i^ 
fiir die Menge der unbekannten Werte und y™ - {yt_ yt-k-N}-%t-tJ kann der «rwartete Wert der in der 60 
ZdtreSte vodierzusagenist wie foigt besduid)en werdenr 

65 

Dabd gelten folgende Voraussetzungen: 
Mt-i steht for alle Messungen bis zum Zdtptmkt t— 1. Die voranstehende Gleichnng ist die grundlegende 
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Glddiimg fOr die Vorh^-sage mit f dttenden Datea Dabet ist besonders za beadtten, daB <fie Unbekaimte yt-k 
ffidxt niir von den Wmen der Zatreihe vor dem Zdt^ 

t— k. Der Gnaid bestefat dario, daB die Variablra in y™ U em inmiiiiales Markov blanket von yt-k formea 
Dieses minimale Markov blantet besteht ais den dtr*ten Vorfahren and dai direkten Nadifahrai dner 
Variable tmd aDen drckten Vorfaliren von VartaUen des direkten Nadifoigers. Im betracbteten Bdsind in 
Fig. 4 nuid die direkten NacMalu» yt ... yt-k4- 1- Di^ 

yt-k-i*.*yi-k-N 

imd die diidcten Ettem dm* Nadifolger der Variablm sind: 
yt-i...yt-k-N+i- 

Ans den tibeore&cbea Gnradhgen ist bekaxmt, daS dne Variable unabiiS n gig von ^ler anderen Vanablen 
dieses Netzwerkes ist, wenn die Variable innerhatb des Maricov blankets bekannt sind. Deshalb wird (Se 
ben5t^ bedingte Dichte aos Glddumg (5) wie fclgt bstinunt: 

Der bier bescfariebene Fall eines fetilenden Meftwert es kann ancfa O aaf mehrere nebencinander fi^eiKie 
feUende MeBwerte assgeddint werden. FaDs i£es der FaQ ist; kann die bedingte Didbte in Cleichung (5) wle im 
foigendra be^^ieben^ bestimmt werden. FOr diesen Fall sd 



y" c{y^,y,-^.^.,y«} (5c) 

die Menge atter fehlenden Wme der Zeitreilie zwtschen dem Zdtptinkt t - 1 and t — H tmd weiterlim sd 



y s{yrt»yrt*— yi} (Sd) , 

die Menge aller MeBwerte bis zura Zdtpunkt t— L Audi gih 

P{y"ly")a p(y^^..••,ya.yl) (5e) , 

wobd die ledite Sette in (5e) aos Glddmng (4) erfaalten mrd. Im allgemdnen ist das Integral in Glddiung (5^ 
wcAd P(y"/y") in Glddmng (5) uber die Gl^dmngen {2% (4) und (5b) bts (5e) bestimmt wir4 fBr die Ftaktion fift 
falls dies eine ntchdineare Fmiktion ist, nidit andyt^ Idsbar. Details fur dUe nnmerische Lfisa qg mit Ifilfe 
statistisdier Metboden werden im Zosammenfaang mit Fi& 2 angegdien. FOr den Pall daB ein wdter^ Mefi- 
wen, der Zdtre&ie nacbgebOdel werden soil, sieht das Verfahrm cine iterative Appradmation der Walu^chein- 
lidikritsvertegung der fdilmden Wote vor> Beispiebwdse sd fOr das IVaining dot Netzes nt satTli r h der Wert L 
ttr den Zei^^mnkt yt-j Tiat4tmifrfMmt Fur cfiesra MeBwert M ist sdne WalMrscheinlfc hfc e itsd ie hte c2 angegeben. 
Di^e WaiiTsdidnfidikdtsdidite c2 kami beispielswdse nadi dem erfindtmgsgemlfien VerMiren ans einer 
vorgegebenen bekannten Fehlerverte'dur^sduAtte der Qbrtgen bekannten MeBwerte rfldcgeredmet werden. FGr 
die i^praxunatton der Wabisdieinlidikdtsvertdlimg von zwd sotcfaen fdilenden Werten L mid M wtrd 
zunfidist L bekpidsweise als bekamit voransgesetzt oder gesdiAtzt Darans wird die Verteiiung von M bcredi* 
net und gemlB dieser Verteihiag dn Wert fOr M zirfaltig bestinunt Mit dies»m bekanntra Wdt M wird 
ansdilieBend in do^dben Wdse L bestbnmt Dieser Voigang wird itertert Die Folge der so emrittritm Werte 
approximiert die gemeinsame Wahrsdidnlidikcitsverteiliing von L und M. Dieser iterationsvorgang ISirft 
vorzogsweise so lange ab» hb esne hinretdiende Genauigkdt der Werte gegd>en ist; oder bis das Ne& genau 
genug trainiert ist FOr mdnr als zwd fehlende Weile ver^fart man anah>& Es wird immer jewdb dn 
gemfiB dc^ Verteilung bestimmt; die sidi ergib^ wenn alie anderen als bekannt angenonunen wmien. 

FOr dm Fait daB yi, yt mOgGdie Werte der Zeitrdhe darstdira sollen y" S {y^, - , y^ die M^werte 
bezddmen nod tyu • . , yJNy" aDe unbckamitwi werte bezeidmen. Das neuronaie Netz NN^ wddies tfe 
Fmikdon f moddlimn solC werde bei^idsweise mit dnem Salz von Gewichten w parametri^ert Dann ^t: 



/Cy>-x*-".y*^)'' Myr^Cy^— y^) 
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Die lagaritfamibdie WahrscheinHciiksitsfunktionbutetdbiui: 
wobei danndie gemeinsame Wahrscheinflchlceitsdichte sidi zu 



yij,...,yiM) (6) 



appraxximert tmd fOr das neuronale Netz folgender Zusammenhang fOr die Berecfammg der Fehteveiteiitifigs- 
dic^tsgHt: is 



20 

FQr das I^eraen mit Hilfe voa Badqpropagatbn, oder anderer Gradienten basierter Lernalgoridimen mid mm 
noch der Gtadient der logarithmischen WahrschetnGciikeitriinikdoii bendtigt, weldber sich. zu: 



ergibt Bs ist anzumerken, daS faieitei voa bekannten Ausgangsbedntgungea fuor yi, , . , ausgegangen wird FOr 
dea Pal!, daB eine Gaufiverteilimg f&r die Fehleiverteflcing vc^ Itegt ergibt sich daram: ^ 



^-^J(yi-"NN,(yw>-..>yM,)) ^'^^^'"'^'-^^ p"(y'^> i (Sa) 

wobei 



40 



cBe f ehlendCT. Werte (Se Sng&ige des Netzwerkes darst ellen wad (8a) zdgt; dafi falls alle 71 . * * yi - n belcamit 
sind, das Integral verschwixtdet 

Falls die Mefiwerte voa einem zusalzlidiea aber bekannten Rauschen ilberlag^ ^rden orgeben sich die 4S 
folgenden Zusammenhfinge. Beis;»dswei$e gilt wieden 

In dieser Variante der ErHcibing soil j^och kein direkter Zugriff auF yt be^hen. Anstattdessen wird die 
Zeitreihe 

gon^en. Darin bedeutet 5t dn unabhangjges Etettischea mit Mltteiwert NulL Unter der Voranssmong^ daB z » 
^...zt-i}undy = {yt«..ytfgehraergibt8!chdieGesamtwaiirsdieinl^^ 



P(y,z) = P(yN,".,y, ) IIP(yJy„,,.., y^syllnz,\y^) 1 8b ) 

damit UuQt sidi die Rechenvorschnft fCir den erwarteten nlcfasten Wert der Zeitreihe angeben 



5 



DE 195 31 967 Al 



B>enso Icann Gradient der WafancteinEchkritsfisiiktion ffirdasTVaining bmdmet werdeo. F8r den Fall, 
dsB eine GmBvert^ung des Rauschens mtt 



10 



ts 



vorliegt, ergtbt sidi: 

>S*"(yi-..yMr'aE)iijr,_d5r^ ( 9a) 

Dem neuronaien Netz wenden beispiekw^e Weite aigefuhrt, die venanscht oder nicbt genau bestunmbar 
skid. Durch die Aisproztmadon der Gewidite im neuronaien Netz werden dabei db&r die PlinkXiDn ^ weldie 
dabd dmch das neoioDale Netz nachgdblld^ wird neue Wme der Zehreihe bestimmbar. Diese neuea Wme 
der Zettreihe weden im Ai^chluB dem nsironalen Netz NNw zugd&fart weldi^ daraas wiedenun durch 
Nachbildung der Ftuiktion f neue W^te der Zeitreihe bestimmt Dieser iterative Vorgang wird soiange fort^ 
setzt; bis cine lunreichende Genanigkdt der zu bestimmendCT Werte OTddit wurde. 

Znr genaaen Bestiimxiimg f ehlendo- Werte mit Hilfe der Kfonte Carlo MetluKie wild von fd^raden Gnnxlla- 
gen aitsgegangen. Es ist bier zu beaditen^daB alle L6sungen<Ee Form 

|h(ii,m)P(ulm)dtt (9b) 

aufweiseiiy wobei u den Satz von tinbekanitten Variablen und m denSatz von bekanntra Yanabiexi bc^eutet. Ein 
Integral dieKa* Forai kann beispidsweise gelost werden^ indra ZQbllspfX)ben der onfadlfflnnten Varabim 
gemaS P(n|ni) gez<^n werdm. Beispieisweise werden diese Proben nut n^ . . ^ n* bezddmet Daians ergibt stdi 
folgender Twsammeriiang fPr die Annahening: 



^ Jh(u,m)P(uIm)da« ^J^Ku'^m) . (9c) 

£s Bt ZU beacfateiu daB in dieser Gfeidiinig u den Wert y t - 1& weldier fchlt oitspricht. Mit dieser erRndnngsge- 

45 mftBen Lasung rcduziert sidt das Problem also darau^ aus F(u|ni) Proben zu Ziehen. FQr den Fall, daB iedigli^ 
eme Variable fehlt» also beispielswdseledlgBch dne RUckfOhning au^etrennt wurde^ reduziertsich das ProUem 
also auf das Probenziehen aos einer einvariableii Voteilung; wetehe mit HOfe des "sampltng-iniportance-resam- 
pling* Oder anderen sami^ng'Tecfazuken [1] g^an werden kamL 

2 zdgt ein Blockschsdtbiid zur Verdeuttidinng des eifnidmiigsgemABen VerEahrensL Das ncnronaie Netz 

so NNw soil hier das tedmische System f steuenu Zum euien ist das neiuonale Netz NNw dargestellt und zum 
andoren das tecfanische System L Die Indizes t und t--- 1 sind die zeitBdiai Abh9n^keiten der emzelncn Werte 
voncinanderabgegeben.DerIndez ^1 bedeutetdabe],daBder betraclitete WortridiinderZdtreihe vordem 
befind^ wddier den Index t hat Vche neuronaien Netz whnd Ober die Verbindungdeitoi^ 150 de 
SteDgrGBe Ut- 1 an das tedmisdie System f abgegeben. Untcrwegs wird dieser Wot nadi dem erfindungsgemi- 

55 Ben Vofahren an einer Vertmti^rfungsstdle '-h' mit emem Rauschen von bekannter Ransdiverteflung a &erla- 
gert Dem tedmischen System f wird dieser Wot U|^i + a zusammen mit drai W^ jt^i zugefuhrt. Das 
tedimsdie System f reagiert anf dtese Stellgr^Be, indtsn es eine Regelg^Be yt a*zengt Diese RegdgiOBe wnd 
einem Verzogeningsglied Zi zugefOhrt, weldie beis]nelsweise giddrzeitig eine Addttionsfunktion entbSlt Die- 
ses .VerzSgerungsglied verzfigert beispielswetse dsa vom tedmi«:hen System abgegebenen Wert yt um eine 

ao Zeiteiniieit, um so den Bi^ngswert Ober die Ldtm^ 180 fiSr das tedmisdie System znr Verf&gung stellen za 
kdnneo. Weiter wild dteser Wert yc-i auch Sber die Ldtung 100 an das neuionale Netz NNw abgegeben. 
7:nttatKli^li ist in Fig. 2 das Rauschen 5 dargestdh. wddies bdspidswdse an dsr VerlaiCi|)fungsstelle und desoL 
V^:z5gOTmgsg|ied Zl der RegelgrfiBe Uberlagert werden lamn. Diese Art der Ob^lagerung ist jedodi mdit 
notwtmdige Voraussetzung fOr die Funktionsf ftfaigkeit des crftndnngsgemftBen Verfafarens. 

65 Bdspielsweise stellt das System eine Hetzuz^aiilage dar, das einea Zostand yt-i zum Zeitpimkt t-- 1 und eine 
KontfoQaktion zum Zcitpunkt t— 1» wddie als m-i bezeicfanet ist, wie etwa Einsdalteo, auf dnen neuen 
Zustand zum Zeitpunkt t» der mit yt bezddmet ist, abbtkiet Femer wird bdspielswdse ein gewltnsdttes 
SoUverbalten durdi eine Kost^unktion C(y) vorgegeben, cfie etwa Ct;^ (y— ywiO^ lautet Zidist es bdspids- 
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weise» <hs System mit emem oeuron^en Nets NNw so za straem, daB die Kosten mniixmert werdea Vorzugs- 
weise kdntm die Kosten b f emer Zukxmft beispielsweise sdrwicher gewiditet weidetL HieTzu wird beispiels* 
weise dn Atecblagsfaktor 'f" ^ eingefOhrt, wobei O^ySlffit Hierzu mussen die P&Fameter Netzes NNw* 
also dessen Gewidite richtig dngesteflt d fa. trahuert werdra. Dies erfdgt vorzugswetse mittds Gradienteiiab- 
sdeg. Dabei dilrfen Ut und yt, audi Vektoren scio. die Kostenfiiziktioa kann auch zestabfaang^ i»in, wie beispiels- 5 
weise Ct (yt)* I>ie Anf angsbedrngung^i mussen dabd ntdit fest sein^ was km ProUem bei der Ldsong nach dem 
orfindirngsgemiBen Va^ahren darstellt Im erfindoiig^femABen FaQ werdea das tedmiscbe System and das 
neuronale Netz ais nidit deterministisdi behandeit Zsm Training Netzes muB vorzugswetse der Gradient 
der Kosten nadi den Cewichtea bestimmt werden. Dieser ist in { i i #) angegeben. 

Vorzugswetse wird beim erfindsingsgan&Ben Verfafaren das Syst^ simuiiert, o^ das reale System benutzt lo 
und die Stdlgr^fie mitteb Gaufirauschen nberiagert Die Kosten skd nun ZufeOsgr^Se und durch cBe deicfaung 
(i2##)gegeben. 

Dabei verscfa«nndet das Produkt der Ableitung; wekA€» sich bet einer detenninistiscfaea Lfisung; cfie hier aicht 
dargesteQt ist, erg^en wtlrde. Das neunmale Netz wnd mm zunicfast mhtels ZubHsdaten initialistertr d fa. die 
Gewichte werdba irgendwie eingestelit AnsMeBend wird das reale System mit den verraic^ten StellgraBea is 
betrieben, taiabhangig davon kann anch ein ModeB verwendet werden, und es werden tSe Stellgr5Ben beobadi- 
tet wefcfae vom System abgegeben w^en. Voizugsweise wird von mefareren DorchiSufra des Systems eine 
Zdtreihe aufgenommen. Dai>ei werden beispielsweise sowofal die SteilgroSen ais auch die RegelgF5Ben proto- 
koBiert Im AnsdduB wird cfiese Zeitreifae dem neuronafen Netz zogef&hrt, um eias gunstige Steuerung des 
t^bnischen Systems aoi eriemen. Durdi die voi^egebene Kostenfunkdon ws-den dabei sokhid G«wichtsver3n- 20 
dCTungen am neuronalen Netz begBnstigt, d h. verstarkt oder wen^er gedflmpft, wetdbe gOTigere Kosten 
bevrirken. Falls dieses Trainings verhJirea mebrfadi duxx:fagefahrt wird, d h. faJk mefarere Zdtreifaen au^enom- 
men werd^ und mtt diesen das neuronale Netz trainiert wnd, so a^gibt adi eine sefar zuverlasage EinsteUung 
der Gewidhte des neuronalen Netzes. Unali^iSngig von der bebpielfaaft vorgesteUten Kostenfunktion kdnnen 
auch andere Kostenfunktbnen angedacfat werc^ Lctztendlxch ist es wichti^ daS diese Kostenftmktion eine 25 
Verstirkung bzw. Absdn^Lcbung dear am Netz eingesteilten Gesiiditsfaktoren bezflgBdi eines gQnstigen Sy- 
stemveriialtcns des tecfanisdten Systems erreidiL 

Durcfa das erCndungsgemaBe Vofahren kann anf cBese Weise uber dner st a ti sti a A M VerteQong der Zeitrei- 
hra mitteis zuflLH^ gestSrter Stellgr5Ben eine Hnstellung der Gewidite am neuronalen Netz gefondra werden, 
welche ein gBnstig^ SoUverbaiten d« t^misdien Systems bewirkt 30 

Fig. 2 eriiutert wdter dn Bei^id des erHndungsganafienYerf afarens anirand ernes Blodcsdialtbides. GemSfi 
diesem Bdspid sei eine Zeitreibe der Form: 

gegeben mit 

und 

T: IntervaBbrdte zur Eireidiung des SoUzustandes. 

Nadi dem er&idungsgem&Ben Verfahrra soli mm das neuronale Netz so traimert werden, indem i£e einzustd- 
lenden Gewidit an den Neuronen so gew&hit werden, daB cfie gen^ dner Kostenfimkdon zu bewertenden 45 
erwarteten Kosten innerfaalb des Inten^es T minimiert werd«. Diese iassen stdi allgCTiein ab 



darsteUenmit: 

y :^ 1 Absdilagsf aktor filr zulcunf tige Werte der Zeitreibe 55 



60 

Wahrscheinltdikett fiir das Auf treten bestimmter Wdte innerfaalb der Zeitreibe 

Um das Regeiverfadtea d^ n^ironalen Netzes zu opdmiereo^ wird gemaB dem erfindungsgemiSen Verfdv 
ren zunfidist der Gradient der zu erwartenden Kosten nadi den Gewtd^en des neuronalen Netzes gdbHdet* 

65 
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diese Ldsimg kaim durch stocfaasti^dies Sampfing approxmuert werdeOt indon die Gleiciiiing (9c) onslog 
angewendet wird, das hriBt in diesem FaH daB das neinxmale Nctz ziisaminea mit dem techcdsdieii Systen, oder 
seittem Modefl mehrac Zdt^Uen tang betrieben winL tmd daB mdircre Zetreihea roay and u aufgenommen 
weidcEL Die Mittdwcrtbfldung der mit diesen Zeitr^ea gebfldeten Gradienten, fuiirt dann za den Werten, 
welche fOr das IVaiimig VerweDdm^ finden, FaUwdse kann es hierzu jedocfa gansdg sein £e KcKtenfunktion so 
211 g^taltcn, dafi groBe Gewicbte an einzdnen Neuronen bestraft werden^ abo hobe Kostea vennsachen^ oder 
die Zahl imd Stirke der Steueraktbnen des Netzes berlicfcsichtigt, vm unendliGlistaifce Steueraktkmen v^mei- 
den zu kdnnen. Mit der obigen Voraussetzuog fOr ut erg^ acfa 



xPCyj y„iii.— .«w)dyi,...,<iy„da„....clD„ (12#) 

als Gradient fOr die zu erwarteoden Kostcn. Durch analoge Anwendung von (9c) vereinfadht si di d w ser za 
3E(cost) 



aw 



T: AnzaU der ZotemhiHten je Zdtreihe 
S: Anzahl der Zeitreihen 

7^1 AbscfalagsfaktorfQrnikOnfdge WertederZeitreihe 
NNw: vom neiironalen Netz erzeugter Wert 

EatentansprOche 

L Verfahren znm Training dnes netnonalen Netzes ndt d^ mcht d^OTminstisdiai Verhaltra ones 
tPchmmdiM Systsems^ 

a) bd dem das nenronale Netz mh dem tecbnischen System, oder einera Model! davon so tn einen 
Regdkre^ eingebunden wird, daB das nenronale NebE ais AusgangsgrSSe mindestens eine SteSgroBe 
an das tecfamsche System, oder sein ModeO al^bc nnd das teducdsche System oder sem Model! aus der 
vom neuionalen Netz zugefCSuten SteOgroBe^ mindestens dne R^dgrSBe erzeugt, die dem Nenrona- 
len Netz aJs Kngangsgr5Bc zugrf^hrt wfad 

b) bei dem die Stellgi^Be ndt einCTi Ranscbw von bekannter RauschverteiluQg Qberlagert wir4 bevor 
sie dem tedmischen System oder !%inCTi Modefl zogefahrt wird, 

c) und bei dem die Gewidite des nmronalen Netzes in Reaktion anf die durch das aufgepr^te 
Ranscben veriiaderte Regelgrofie vne folgt eingestdlt werden: 

es wird von cincr Kostenfonktion bewertet; ob die GeDvichtsAnderung am Netz, die n^ iiekannten 
Leravofahren eingesteik wird, eine Verbessenmg der Regelgr5Be in Bezng anf ein SoUvoriialten des 
technischien- Systems bewirkl hat and solcbe Gcwichtseiosteflmigen werden durch die Kostenf unkdon 
begOnstigt 

Z Verfofaren nadi Ans{nii£ii 1, bd dem die Gewiditsdnstdlangm durch (fie Kostenfunkdon dahingdiend 
bewertet werden, ob (fie Gewicfatsanderung am Netz, die nach bekannten Lernverfafaren dngesteOt wir4 
eine Verschlecfatenmg der RegdgrSBe in Bezug attf dn Soilverhalten des tedmischen Systems bewirkt hat 
und solche Gemchtseinstellongen durcfa die Kostenfunktion abgescfawadit werd^ 
3. Verfahren nadi Anspnidi 1 oder 2, bd don die Gewicbte des nenronalen Netzes in Reakdon auf die 
durdi das au^eprSgte Rauschen veranderte Rege^roBe wie folgt eingestdit wo^lem 

i) die Neimmengewidite werden beiietng iniliBlisiert; der Regdkreb wird dne MefarzabI von Zeitay- 
klen betneben und es woxlen sowohl die RegelgrfiBcp ais aijch die Stdlg^Be tn Form von je dner 
Zeitreihe protokolliert, 

ii) die Neuronengemdite werden nach bekannten Lemverfahren eingestellt und es wird jeweils fDr 
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jeden Wert der Zettreihe Gradient d^ GewichtsSndening an den Neuronen in AUiSngigkeit der 
SteUgrfiSe und des bekannten R^uiscliens besdmmt, wobei dieser Vorgaog mdirfacfa wiedecholt wzrd 
and dabd von einer Kostenfunktion bewertet wird, wie gflnstig sich die Regelgr5fie in Bezug atxf din 
SoUv«rhaIten des tedmisdien Sj^enis als Reaktion. 
4, Verfehren nacfa Ansprudi 2, bei dem eii^ Vidbsahl von Zeitreifaen aufgenommen werden imd die Neoro- 5 
n«gewichte fiir jeweils eine Zdtreihe besdmmt werden, weldie als Hnzdverte (fie aritfametischen Mittel- 
werte der aufgenommenen Zdtreihen hat 

5l Verfahrm nacfa einem der vorangdienden Ansprfidie, bet dan Bne CwBvert^img als bekannte 
Raiiscbverteiltingyerwradetwd 

& Verfahren nach Anspnicfa 4« mh einer Zdtrdher Form: 10 



nut: 



NNw: vom nenronaloa Ketz esrzeogter 

t>ei dem die Gemchte an den Neuronen wie folgt bestinnnt weiden z 

25 



SECcost) 

"i;; — 



30 

mil: 

T: An2ahl der Zeitdnhdten je Zeitreihe 
S: Anzahi der Zeitreifaen 

Y ^ 1 AbschlagsbktCH' Hr zuknnftige Werteder &itreth& 

7. Verfahren nach einem der vorangehradoi AnsprOche^ bd dem die R^pe^r58e mit einem Rausdien von as 
fa^caimter Rauschverteilung der Form 

40 

fiberiagert wtfd mit: 

45 



Hierzu 1 Seite(n)Zetchniingen 



50 
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